<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   YangCan: 统计学习那些事  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2011/12/stories-about-statistical-learning/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466440231: Accept with keywords: (title(0.2):中国,统计学,事,服务平台,门户网站, topn(0.433333333333):大家,维空间,解释性,分类器,统计学,R语言,数据挖掘,性质,数据分析,模型,数学,文章,参数,方法,变量,老师,深度,问题,算法,篇文章,先验,服务平台,优化,链接,可视化,门户网站,系统,交互式,时候,决策树).-->
 </head>
 <body class="single single-post postid-4532 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    YangCan: 统计学习那些事
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2011/12/stories-about-statistical-learning/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-4532 post type-post status-publish format-standard hentry category-featured category-data category-dmml tag-boosting tag-esl tag-lar tag-lasso tag-svm tag-tree tag-514 tag-520 tag-513" id="post-4532">
        <header class="entry-header">
         <h1 class="entry-title">
          统计学习那些事
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2011/12/stories-about-statistical-learning/" rel="bookmark" title="链向统计学习那些事的固定链接">
            <time class="entry-date" datetime="2011-12-14T01:27:12+00:00">
             2011/12/14
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/website/featured/" rel="category tag">
            推荐文章
           </a>
           、
           <a href="http://cos.name/category/data/" rel="category tag">
            数据分析
           </a>
           、
           <a href="http://cos.name/category/data/dmml/" rel="category tag">
            数据挖掘与机器学习
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/boosting/" rel="tag">
            boosting
           </a>
           、
           <a href="http://cos.name/tag/esl/" rel="tag">
            ESL
           </a>
           、
           <a href="http://cos.name/tag/lar/" rel="tag">
            LAR
           </a>
           、
           <a href="http://cos.name/tag/lasso/" rel="tag">
            lasso
           </a>
           、
           <a href="http://cos.name/tag/svm/" rel="tag">
            SVM
           </a>
           、
           <a href="http://cos.name/tag/tree/" rel="tag">
            tree
           </a>
           、
           <a href="http://cos.name/tag/%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0/" rel="tag">
            机器学习
           </a>
           、
           <a href="http://cos.name/tag/%e6%a8%a1%e7%b3%8a%e7%b3%bb%e7%bb%9f/" rel="tag">
            模糊系统
           </a>
           、
           <a href="http://cos.name/tag/%e7%bb%9f%e8%ae%a1%e5%ad%a6%e4%b9%a0/" rel="tag">
            统计学习
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/eeyangc/" rel="author" title="查看所有由eeyangc发布的文章">
            eeyangc
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <blockquote>
          <p>
           编辑部按：本文转载Yang Can主页中的文章，稍有修改，原文链接请
           <a href="http://ihome.ust.hk/~eeyang/Stories_about_SL.pdf" target="_blank">
            点击此处
           </a>
           。
          </p>
          <p>
           作者简介：杨灿，香港科技大学电子与计算机工程系。
           <br/>
           主页：http://ihome.ust.hk/~eeyang/index.html
          </p>
         </blockquote>
         <p>
          在港科大拿到PhD，做的是Bioinformatics方面的东西。Bioinformatics这个领域很乱，从业者水平参差不齐，但随着相关技术（比如Microarray, Genotyping）的进步，这个领域一直风风光光。因为我本科是学计算机电子技术方面的，对这些技术本身并没有多大的兴趣，支持我一路走过来的一个重要原因是我感受到
          <strong>
           统计学习(Statistical learning)
          </strong>
          的魅力。正如本科时代看过的一本网络小说《悟空传》所写的：“你不觉得天边的晚霞很美吗？只有看着她，我才能坚持向西走。”
         </p>
         <p>
          离校前闲来无事，觉得应该把自己的一些感受写下来，和更多的爱好者分享。
         </p>
         <h2>
          1. 学习经历
         </h2>
         <p>
          先介绍一下我是如何发现这个领域的。我本科学自动化，大四时接触到一点智能控制的东西，比如模糊系统，神经网络。研究生阶段除了做点小硬件和小软件，主要的时间花在研究模糊系统上。一个偶然的机会，发现了王立新老师的《模糊系统与模糊控制教材》。我至今依然认为这是有关模糊系统的最好的书，逻辑性非常强。它解答了我当年的很多困惑，然而真正令我心潮澎湃的是这本书的序言，读起来有一种“飞”的感觉。后来我终于有机会来到港科大，成为立新老师的PhD学生，时长一年半（因为立新老师离开港科大投身产业界了）。立新老师对我的指导很少，总结起来可能就一句话：“你应该去看一下Breiman 和Friedman的文章。”立新老师在我心目中的位置是高高在上的，于是我就忠实地执行了他的话。那一年半的时间里，我几乎把他们的文章看了好几遍。开始不怎么懂，后来才慢慢懂了，甚至有些痴迷。于是，我把与他们经常合作的一些学者的大部分文章也拿来看了，当时很傻很天真，就是瞎看，后来才知道他们的鼎鼎大名，Hastie, Tibshirani, Efron等。文章看得差不多了，就反复看他们的那本书“The Elements of Statistical learning”（以下简称ESL）。说实话，不容易看明白，也没有人指导，我只好把文章和书一起反复看，就这样来来回回折腾。比如为看懂Efron的“Least angle regression”，我一个人前前后后折腾了一年时间（个人资质太差）。当时国内还有人翻译了这本书（2006年），把名字翻译为“统计学习基础”。我的神啦，这也叫“基础”！还要不要人学啊！难道绝世武功真的要练三五十年？其实正确的翻译应该叫“
          <span style="color: #000000;">
           <strong>
            精要
           </strong>
          </span>
          ”。在我看来，这本书所记载的是绝世武功的要义，强调的是整体的理解，联系和把握，绝世武功的细节在他们的文章里。
          <span id="more-4532">
          </span>
         </p>
         <h2>
          2. 关于Lasso与Boosting
         </h2>
         <p>
          由于篇幅有限，我就以Lasso和Boosting为主线讲讲自己的体会。故事还得从90年代说起。我觉得90年代是这个领域发展的一个黄金年代，因为两种绝世武功都在这个时候横空出世，他们是SVM和Boosted Trees。
         </p>
         <p>
          先说SVM。大家对SVM的基本原理普遍表述为，SVM通过非线性变换把原空间映射到高维空间，然后在这个高维空间构造线性分类器，因为在高维空间数据点更容易分开。甚至有部分学者认为SVM可以克服维数灾难(curse of dimensionality)。如果这样理解SVM的基本原理，我觉得还没有看到问题的本质。因为这个看法不能解释下面的事实：SVM在高维空间里构建分类器后，为什么这个分类器不会对原空间的数据集Overfitting呢？要理解SVM的成功，我觉得可以考虑以下几个方面：第一，SVM求解最优分类器的时候，使用了L2-norm regularization，这个是控制Overfitting的关键。第二，SVM不需要显式地构建非线性映射，而是通过Kernel trick完成，这样大大提高运算效率。第三，SVM的优化问题属于一个二次规划（Quadratic programming），优化专家们为SVM这个特殊的优化问题设计了很多巧妙的解法，比如SMO（Sequential minimal optimization）解法。第四，Vapnika的统计学习理论为SVM提供了很好的理论背景（这点不能用来解释为什么SVM这么popular，因为由理论导出的bound太loose）。于是SVM成功了，火得一塌糊涂！
         </p>
         <p>
          再说Boosted Trees。它基本的想法是通过对弱分类器的组合来构造一个强分类器。所谓“弱”就是比随机猜要好一点点；“强”就是强啦。这个想法可以追溯到由Leslie Valiant教授（2010年图灵奖得主）在80年代提出的probably approximately correct learning (PAC learning) 理论。不过很长一段时间都没有一个切实可行的办法来实现这个理想。细节决定成败，再好的理论也需要有效的算法来执行。终于功夫不负有心人， Schapire在1996年提出一个有效的算法真正实现了这个夙愿，它的名字叫AdaBoost。AdaBoost把多个不同的决策树用一种非随机的方式组合起来，表现出惊人的性能！第一，把决策树的准确率大大提高，可以与SVM媲美。第二，速度快，且基本不用调参数。第三，几乎不Overfitting。我估计当时Breiman和Friedman肯定高兴坏了，因为眼看着他们提出的CART正在被SVM比下去的时候，AdaBoost让决策树起死回生！Breiman情不自禁地在他的论文里赞扬AdaBoost是最好的现货方法（off-the-shelf，即“拿下了就可以用”的意思）。其实在90年代末的时候，大家对AdaBoost为什么有如此神奇的性能迷惑不解。1999年，Friedman的一篇技术报告“Additive logistic regression: a statistical view of boosting”解释了大部分的疑惑（没有解释AdaBoost为什么不容易Overfitting，这个问题好像至今还没有定论），即搞清楚了AdaBoost在优化什么指标以及如何优化的。基于此，Friedman提出了他的GBM（Gradient Boosting Machine，也叫MART或者TreeNet）。几乎在同时，Breiman另辟蹊径，结合他的Bagging (Bootstrap aggregating) 提出了Random Forest （今天微软的Kinect里面就采用了Random Forest，相关论文Real-time Human Pose Recognition in Parts from Single Depth Images是CVPR2011的best paper）。
         </p>
         <p>
          有一个关于Gradient Boosting细节不得不提。Friedman在做实验的时候发现，把一棵新生成的决策树，记为f_m，加到当前模型之前，在这棵决策树前乘以一个小的数，即v×f_m（比如v=0.01），再加入到当前模型中，往往大大提高模型的准确度。他把这个叫做“Shrinkage”。接下来，Hastie，Tibshirani和Friedman进一步发现（我发现大师们都是亲自动手写程序做实验的），如果把具有Shrinkage的Gradient Boosting应用到线性回归中时，得到的Solution Path与Lasso的Solution Path惊人地相似(如图所示)！他们把这一结果写在了ESL的第一版里，并推测这二者存在着某种紧密的联系，但精确的数学关系他们当时也不清楚。Tibshirani说他们还请教了斯坦福的优化大师（我估计是Stephen Boyd），但还是没有找到答案。
         </p>
         <p>
          <a href="http://cos.name/wp-content/uploads/2011/12/identical.png">
           <img src="http://cos.name/wp-content/uploads/2011/12/identical.png"/>
          </a>
         </p>
         <p>
          后来Tibshirani找到自己的恩师Efron。Tibshirani在“The Science of Bradley Efron”这本书的序言里写道，“
          <strong>
           He sat down and pretty much single-handedly solved the problem. Along the way, he developed a new algorithm, ‘least angle regression,’ which is interesting in its own right, and sheds great statistical insight on the Lasso.
          </strong>
          ”我就不逐字逐句翻译了，大意是：Efron独自摆平了这个问题，与此同时发明了“Least angle regression (LAR)”。Efron结论是Lasso和Boosting的确有很紧密的数学联系，它们都可以通过修改LAR得到。更令人惊叹的是LAR具有非常明确的几何意义。于是，Tibshirani在序言中还有一句，“
          <strong>
           In this work, Brad shows his great mathematical power–not the twentieth century, abstract kind of math, but the old-fashioned kind: geometric insight and analysis.
          </strong>
          ”读Prof Efron的文章，可以感受到古典几何学与现代统计学的结合之美（推荐大家读读Efron教授2010年的一本新书
          <strong>
           Large-Scale Inference
          </strong>
          ，希望以后有机会再写写这方面的体会）！总之，Efron的这篇文章是现代统计学的里程碑，它结束了一个时代，开启了另一个时代。
         </p>
         <p>
          这里，想补充说明一下Lasso的身世，它的全称是The Least Absolute Shrinkage and Selection Operator，读音不是[‘læso]而是[læ’su:]，有中文翻译为“套索”，个人觉得这个翻译不好，太远离它本来的含义，不如就用Lasso。Tibshrani自己说他的Lasso是受到Breiman的Non-Negative Garrote（NNG）的启发。 Lasso把NNG的两步合并为一步，即L1-norm regularization。Lasso的巨大优势在于它所构造的模型是Sparse的，因为它会自动地选择很少一部分变量构造模型。现在，Lasso已经家喻户晓了，但是Lasso出生后的头两年却很少有人问津。后来Tibshirani自己回忆时说，可能是由下面几个原因造成的：1. 速度问题：当时计算机求解Lasso的速度太慢；2. 理解问题：大家对Lasso模型的性质理解不够（直到Efron的LAR出来后大家才搞明白）；3. 需求问题：当时还没有遇到太多高维数据分析的问题，对Sparsity的需求似乎不足。Lasso的遭遇似乎在阐释我们已经熟知的一些道理： 1.千里马常有，而伯乐不常有（没有Efron的LAR，Lasso可能很难有这么大的影响力）。2.时势造英雄（高维数据分析的问题越来越多，比如Bioinformatics领域）。3.金子总是会闪光的。
         </p>
         <p>
          LAR把Lasso （L1-norm regularization）和Boosting真正的联系起来，如同打通了任督二脉（数学细节可以参考本人的
          <a href="http://cos.name/2011/12/stories-about-statistical-learning/ http://cloud.github.com/downloads/cosname/editor/lars_Lasso_boost.pdf" target="_blank">
           一个小结
          </a>
          ，当然最好还是亲自拜读Efron的原著）。LAR结束了一个晦涩的时代：在LAR之前，有关Sparsity的模型几乎都是一个黑箱，它们的数学性质（更不要谈古典的几何性质了）几乎都是缺失。LAR开启了一个光明的时代：有关Sparsity的好文章如雨后春笋般地涌现，比如Candes和Tao的Dantzig Selector。伯克利大学的Bin Yu教授称“Lasso, Boosting and Dantzig are three cousins”。近年来兴起的Compressed sensing（Candes &amp; Tao, Donoho）也与LAR一脉相承，只是更加强调L1-norm regularization其他方面的数学性质，比如Exact Recovery。我觉得这是一个问题的多个方面，Lasso关注的是构建模型的准确性，Compressed sensing关注的是变量选择的准确性。由此引起的关于Sparsity的研究，犹如黄河泛滥，一发不可收拾。比如Low-rank 逼近是把L1-norm从向量到矩阵的自然推广（现在流行的“
          <strong>
           用户推荐系统
          </strong>
          ”用到的Collaborative filtering的数学原理源于此）。有兴趣的童鞋可以参考我
          <a href="http://cloud.github.com/downloads/cosname/editor/Learning_from_sparsity.pdf" target="_blank">
           个人的小结
          </a>
          。
         </p>
         <p>
          还必须提到的是算法问题。我个人觉得，一个好的模型，如果没有一个快速准确的算法作为支撑的话，它最后可能什么也不是。看看Lasso头几年的冷遇就知道了。LAR的成功除了它漂亮的几何性质之外，还有它的快速算法。LAR的算法复杂度相当于最小二乘法的复杂度，这几乎已经把Lasso问题的求解推向极致。这一记录在2007年被Friedman的Coordinate Descent（CD）刷新，至今没人打破。Hastie教授趣称这个为“FFT（Friedman + Fortran + Tricks）”。因为CD对Generalized Lasso问题并不能一网打尽，许多凸优化解法应运而生，如Gradient Projection， Proximal methods，ADMM (Alternating Direction Method of Multipliers)， (Split) Bregman methods，Nesterov’s method (一阶梯度法中最优的收敛速度，Candes 的很多软件包都根据这个方法设计) 等等。哪个方法更好呢？这个就像问“谁的武功天下第一”一样。我只能回答“王重阳以后再也没有天下第一了，东邪西毒南帝北丐，他们各有各的所长，有的功夫是这个人擅长一些，而另外几门功夫又是另一个人更擅长一些”。有关L1的算法可能还会大量涌现，正如优化大师Stephen Boyd所说（2010年9月28日）：“God knows the last thing we need is another algorithm for the Lasso.”
         </p>
         <h2>
          3. 结语
         </h2>
         <p>
          最后我想以讨论“模糊系统”和“统计学习”来结尾。这个话题非常具有争议，我就冒天下之大不讳吧，谈一谈我这几年的学习体会。记得十年前，立新老师曾经写过一篇文章《模糊系统：挑战与机遇并存——十年研究之感悟》，发表在2001年《自动化学报》上。我2005年看到的时候，敬仰之情，犹如滔滔江水。立新老师曾经有这么一句话：“If a method works well in practice, there must be some theoretical reasons for its success.”2005年的时候，我开始问自己什么使模糊系统的成功？立新老师认为有如下几个原因：1.模糊系统的通用逼近性能（Universal Approximator）；2.模糊系统快速的构造算法，比如他自己的WM方法，Roger Jang的ANFIS等等；3.结果的可解释性；4.利用各种不同形式的信息。
         </p>
         <p>
          下面我谈谈自己的看法，第一，通用逼近性能当然是一个好的性质，它表明模糊系统是很flexible的，但flexible的结构太多了，比如神经网络。问题往往不在flexible，而在太flexible导致overfitting。就如同SVM一样，没有L2-norm regularization，实践中的性能就会变得很差。第二，快速算法，这是好的方法必备的，SVM，Boosting，Random Forest的算法都很快，而且可以直接用到高维，这一点上，我没有看到模糊系统的优势。第三，可解释性：模糊系统对低维数据（比如2-4维）的确具有好的解释性（因为IF-THEN规则的前提和结论都很简洁），但这个时候其它工具也可以做得到，比如Gradient Boosting和Random Forests（很多例子可以在ESL这本书里看到）。第四，充分的利用各种信息。立新老师指的是IF-THEN规则可以比较自由灵活的加入先验知识，并在他的书里面详细给出实例。遗憾的是，这些例子都在处理低维空间的问题。如何用IF-THEN规则解构高维空间呢？我个人看不到它们特殊的优势。然而，在统计学习里，利用不同的先验知识处理高维空间的例子比比皆是，比如Sparsity，group-structure，smoothness等等。现在举一个Gradient Boosting machine（GBM，也叫MART）的例子来说明我的观点。根据Lasso和Boosting的关系，可以知道GBM已经用到了Sparsity的性质（L1-norm regularization）。GBM有两个参数可以反映我们的先验知识。第一个参数是深度（depth），控制每棵决策树的深度 。如果深度为1，即树桩结构（Stump），表明GBM将采用加法模型（Generalized Additive model），即不考虑变量之间的交互式作用（Interaction）；如果深度大于1，则考虑交互式作用。因为交互式作用在非线性建模中比较重要，如异或（XOR）问题，没有考虑交互式作用将失败得很惨，所以这个参数设置反映了对非线性建模的先验。第二个参数是Shrinkage的大小。假设深度选取是合理的，在噪声比较小的时候，没有Shrinkage会比较好；噪声比较大的时候，有Shrinkage会好一些。实践中，使用GBM对高维数据分析，试错法（Trial and error）很容易使用，因为就这两个参数（通常depth=3～4；实际数据的噪声往往比较大，推荐设置Shrinkage=0.01）。模型构建好之后，GBM会告诉你哪些变量是重要的，变量之间的交互式作用如何等等，这样模型的结果也是比较容易理解。Random Forests也有相似的功能。好了，最后借Hastie教授的一幅图来总结一下，无疑，GBM（MART）是他们的最爱，也是我的最爱。
         </p>
         <p>
          <a href="http://cos.name/wp-content/uploads/2011/12/compare.png">
           <img src="http://cos.name/wp-content/uploads/2011/12/compare.png"/>
          </a>
         </p>
         <h2>
          尾音
         </h2>
         <p>
          <strong>
           <span style="color: #0000ff;">
            问： 世间是否此山最高，或者另有高处比天高？
           </span>
          </strong>
         </p>
         <p>
          <strong>
           <span style="color: #0000ff;">
            答： 在世间自有山比此山更高，Open-mind要比天高。
           </span>
          </strong>
         </p>
         <blockquote>
          <p>
           <strong>
            下载本文PDF文档
           </strong>
           ：
           <a href="http://cloud.github.com/downloads/cosname/editor/stories-about-statistical-learning1.pdf" target="_blank">
            统计学习那些事
           </a>
          </p>
         </blockquote>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2011/11/4th-china-r-shanghai-summary/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          第四届中国R语言会议（上海会场）纪要
         </a>
         <a href="http://cos.name/2012/02/valentines-gift-by-using-r/" rel="next">
          用R绘制情人节的礼物
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          统计学习那些事
         </span>
         》有34个想法
        </h2>
        <ol class="comment-list">
         <li class="comment byuser comment-author-yihui even thread-even depth-1" id="comment-2636">
          <article class="comment-body" id="div-comment-2636">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1022d8e6ebc94e8f6bca9a86cebe312a?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://yihui.name" rel="external nofollow">
               谢益辉
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2636">
              <time datetime="2011-12-14T01:51:25+00:00">
               2011/12/14 01:51
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             虽然没见过作者，不过想象中这位老大谈论起统计学习必然是两眼放光型的。喜欢这种专注和热情。
            </p>
            <p>
             又及：这篇文章可能被不少网站转载过，但COS一定是最用心排版的：）
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给谢益辉" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2636#respond" onclick='return addComment.moveForm( "div-comment-2636", "2636", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-2637">
          <article class="comment-body" id="div-comment-2637">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/497ea247993bf5d350c9aa7796c6eb81?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.zhizhihu.com" rel="external nofollow">
               丕子
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2637">
              <time datetime="2011-12-14T08:29:10+00:00">
               2011/12/14 08:29
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             嗯 再看看
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给丕子" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2637#respond" onclick='return addComment.moveForm( "div-comment-2637", "2637", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-2638">
          <article class="comment-body" id="div-comment-2638">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/8eac6de01856f21023a1fc3b6276f062?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              很老的老牟
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2638">
              <time datetime="2011-12-14T09:38:44+00:00">
               2011/12/14 09:38
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这或者可以归为机器学习的主题。
            </p>
            <p>
             或曰：万道归一。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给很老的老牟" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2638#respond" onclick='return addComment.moveForm( "div-comment-2638", "2638", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-2644">
          <article class="comment-body" id="div-comment-2644">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/fee29e25c1ef0687b4e6b04f6fd01a26?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://bio-spring.info" rel="external nofollow">
               Gao
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2644">
              <time datetime="2011-12-15T20:06:50+00:00">
               2011/12/15 20:06
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             果断看不懂啊！想看到bioinformatics的内容，没瞅见。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Gao" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2644#respond" onclick='return addComment.moveForm( "div-comment-2644", "2644", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment byuser comment-author-fan even thread-even depth-1" id="comment-2651">
          <article class="comment-body" id="div-comment-2651">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/0f724dd2ae26d54dfd05ff44f61f8a84?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://fan.cos.name/cn/" rel="external nofollow">
               范建宁
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2651">
              <time datetime="2011-12-16T21:18:37+00:00">
               2011/12/16 21:18
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这个标题有歧义
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给范建宁" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2651#respond" onclick='return addComment.moveForm( "div-comment-2651", "2651", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-2656">
          <article class="comment-body" id="div-comment-2656">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/8bce8a6da031c2577ea480057979cb05?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              ruikoeln
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2656">
              <time datetime="2011-12-22T10:33:59+00:00">
               2011/12/22 10:33
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             标题可以打引号，使得大家明白“Stastistical Learning”是一个专有名词。一直在纠结这个领域究竟是更统计一些，还是更计算机一些。天天都用的算法，却一直一知半解，惭愧啊！此人必定在3年之内拿到国外高校的教职。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给ruikoeln" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2656#respond" onclick='return addComment.moveForm( "div-comment-2656", "2656", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-2682">
          <article class="comment-body" id="div-comment-2682">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/38355986e5140534516d70cb1631186f?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              肖逊
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-2682">
              <time datetime="2012-02-09T21:49:59+00:00">
               2012/02/09 21:49
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             在读ESL 随着看ESL的深入 每次看这篇文章我都有更深的感受
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给肖逊" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=2682#respond" onclick='return addComment.moveForm( "div-comment-2682", "2682", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-odd thread-alt depth-1" id="comment-3174">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2012/05/chase-after-eb/" rel="external nofollow">
            YangCan: 那些年，我们一起追的EB | 统计之都 (中国统计学门户网站，免费统计学服务平台)
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-3257">
          <article class="comment-body" id="div-comment-3257">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6ca0529d22d1bf25a1e5cee3af3456f9?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://bjt.name" rel="external nofollow">
               刘思喆
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3257">
              <time datetime="2012-07-30T17:22:29+00:00">
               2012/07/30 17:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             第三次回过头来读这篇文章，依旧被感染的心情澎湃很久。每当用到这些方法的时候，不由得惊叹，怎么能将预测提高这么多呢？！这世界上居然有人设计出这么NB的东西！BTW，作者的两个小结的链接不能用了。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给刘思喆" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=3257#respond" onclick='return addComment.moveForm( "div-comment-3257", "3257", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor odd alt depth-2 parent" id="comment-3273">
            <article class="comment-body" id="div-comment-3273">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3273">
                <time datetime="2012-08-13T22:39:44+00:00">
                 2012/08/13 22:39
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               因为我香港科大的ID已经过期，所以链接不能用了。我已经将pdf发给编辑，编辑已经把pdf链接到统计之都的website。谢谢大家！
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=3273#respond" onclick='return addComment.moveForm( "div-comment-3273", "3273", "respond", "4532" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment even depth-3" id="comment-3274">
              <article class="comment-body" id="div-comment-3274">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/66aa115466aeedf71937ff80c00b7982?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://www.road2stat.com/" rel="external nofollow">
                   Xiao Nan
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3274">
                  <time datetime="2012-08-14T00:26:09+00:00">
                   2012/08/14 00:26
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 哇，真人现身，速度合影留念 。。。
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment odd alt depth-3" id="comment-3275">
              <article class="comment-body" id="div-comment-3275">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/6ca0529d22d1bf25a1e5cee3af3456f9?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://bjt.name" rel="external nofollow">
                   刘思喆
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3275">
                  <time datetime="2012-08-14T09:25:23+00:00">
                   2012/08/14 09:25
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 话说我就是那个发邮件的酱油编辑，哈哈
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment even depth-3" id="comment-7041">
              <article class="comment-body" id="div-comment-7041">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/cd9acb2fdaf0897ef9c5348e56da1c04?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  gj
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-7041">
                  <time datetime="2016-01-22T13:49:47+00:00">
                   2016/01/22 13:49
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 求联系方式啊！我在读统计phd，要做的课题也是regularization相关的
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment byuser comment-author-montecarlo odd alt thread-odd thread-alt depth-1" id="comment-3315">
          <article class="comment-body" id="div-comment-3315">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/9282af1bdd1039c6810e2561ab025a1d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              montecarlo
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3315">
              <time datetime="2012-09-02T14:49:39+00:00">
               2012/09/02 14:49
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             我个人目前就在自动化系做bioinformatics，主要也是利用机器学习，贝叶斯统计等。The Element 那本书显然是高阶机器学习课程，但爱不释手~其实入门那本Bishop的材料也比较不错。
             <br/>
             看到经常利用的算法之间，有很紧密的联系时，让我感到很兴奋。所以，楼主的文章也让我读起来很舒服。
             <br/>
             我想，机器学习应从从统计的角度学习，从算法的角度了解其实现。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给montecarlo" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=3315#respond" onclick='return addComment.moveForm( "div-comment-3315", "3315", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-3317">
          <article class="comment-body" id="div-comment-3317">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/c2042dd73e1c36bb03f7002055168bf5?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://none" rel="external nofollow">
               jalew
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3317">
              <time datetime="2012-09-04T21:07:22+00:00">
               2012/09/04 21:07
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             看过《统计学习“基础”》的，每每读这篇文章，总是深有感触
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给jalew" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=3317#respond" onclick='return addComment.moveForm( "div-comment-3317", "3317", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-3324">
          <article class="comment-body" id="div-comment-3324">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/af9d9be4ced2a51a8f40578fcf630a11?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              jinge
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3324">
              <time datetime="2012-09-07T12:07:06+00:00">
               2012/09/07 12:07
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             我看到了第六章，认为将真实函数映射到不同的基函数张成的函数空间是一个非常好的切入角度。看完后，也想写一篇关于ESL的文章。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给jinge" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=3324#respond" onclick='return addComment.moveForm( "div-comment-3324", "3324", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-3443">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://blog.apprk.com/archives/37150" rel="external nofollow">
            统计学习方法——CART, Bagging, Random Forest Boosting | EvilCode 邪恶代码
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-3759">
          <article class="comment-body" id="div-comment-3759">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/70812108f0de6451f86a1a928a38ed11?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Shijbian
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-3759">
              <time datetime="2013-02-28T07:24:27+00:00">
               2013/02/28 07:24
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             我这几天也是看《统计学习“基础”》，是因为quora上面在推荐。其中的续讲方式真的解决了学习统计中很多不明白的地方。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Shijbian" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=3759#respond" onclick='return addComment.moveForm( "div-comment-3759", "3759", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-3763">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://yanmiewp.wordpress.com/2013/02/21/%e4%bb%8eregularization%e8%af%b4%e6%9d%a5%e5%bc%80%e5%8e%bb/" rel="external nofollow">
            从regularization说来开去 | yangjiera's field
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-odd thread-alt depth-1" id="comment-4882">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://lijiangguo.wordpress.com/2013/09/19/lasso-and-related-ideas/" rel="external nofollow">
            Lasso and related ideas | Lijiang Guo's Blog
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-5553">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2014/04/lmmandme/" rel="external nofollow">
            YangCan: 昔日因，今日意 | 统计之都 (中国统计学门户网站，免费统计学服务平台)
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5613">
          <article class="comment-body" id="div-comment-5613">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/3144142390" rel="external nofollow">
               huafeng0317
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-5613">
              <time datetime="2014-04-28T20:24:43+00:00">
               2014/04/28 20:24
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             mark
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给huafeng0317" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=5613#respond" onclick='return addComment.moveForm( "div-comment-5613", "5613", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5653">
          <article class="comment-body" id="div-comment-5653">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6e39d0d513d4c32e4ce2ba333620dc00?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.zhouleyu.com/life/efficacy-of-lycium-barbarum" rel="external nofollow">
               zhouleyu
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-5653">
              <time datetime="2014-05-02T17:44:44+00:00">
               2014/05/02 17:44
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             mark
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给zhouleyu" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=5653#respond" onclick='return addComment.moveForm( "div-comment-5653", "5653", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5654">
          <article class="comment-body" id="div-comment-5654">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6e39d0d513d4c32e4ce2ba333620dc00?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.zhouleyu.com/life/efficacy-of-lycium-barbarum" rel="external nofollow">
               zhouleyu
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-5654">
              <time datetime="2014-05-02T17:44:44+00:00">
               2014/05/02 17:44
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             mark
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给zhouleyu" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=5654#respond" onclick='return addComment.moveForm( "div-comment-5654", "5654", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5655">
          <article class="comment-body" id="div-comment-5655">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6e39d0d513d4c32e4ce2ba333620dc00?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.zhouleyu.com/life/efficacy-of-lycium-barbarum" rel="external nofollow">
               zhouleyu
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-5655">
              <time datetime="2014-05-02T17:44:44+00:00">
               2014/05/02 17:44
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             mark
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给zhouleyu" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=5655#respond" onclick='return addComment.moveForm( "div-comment-5655", "5655", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-5836">
          <article class="comment-body" id="div-comment-5836">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/e16c8ed2de1953ef4a43a888d8aa1f5c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              阿杜
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-5836">
              <time datetime="2014-06-03T20:33:20+00:00">
               2014/06/03 20:33
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             ESL关于Boosting这一章节翻了好多遍，结合论文看，每次重看都有收获
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给阿杜" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=5836#respond" onclick='return addComment.moveForm( "div-comment-5836", "5836", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2" id="comment-5865">
            <article class="comment-body" id="div-comment-5865">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-5865">
                <time datetime="2014-06-10T01:25:07+00:00">
                 2014/06/10 01:25
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               很高兴大家喜欢。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=5865#respond" onclick='return addComment.moveForm( "div-comment-5865", "5865", "respond", "4532" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-even depth-1" id="comment-6146">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2014/08/r-maps-for-china/" rel="external nofollow">
            Editor: R绘制中国地图，并展示流行病学数据 | 统计之都 (中国统计学门户网站，免费统计学服务平台)
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6278">
          <article class="comment-body" id="div-comment-6278">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Laoguanr
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-6278">
              <time datetime="2014-10-13T20:19:04+00:00">
               2014/10/13 20:19
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             ESL没有学好，希望以后有时间再来一遍！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Laoguanr" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=6278#respond" onclick='return addComment.moveForm( "div-comment-6278", "6278", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-even depth-1" id="comment-6690">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.yanjingge.com/archives/146133" rel="external nofollow">
            机器学习日报2015-04-22 科普GBDT 等35条
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-odd thread-alt depth-1" id="comment-7036">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.dashujukong.com/zixun/6733" rel="external nofollow">
            如何用R实现空间数据可视化-大数据控
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-even depth-1" id="comment-7065">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.yylogo.com/?p=142" rel="external nofollow">
            岭回归（对岭迹图的理解） | 新零点
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-odd thread-alt depth-1" id="comment-7098">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.itdadao.com/article/563764/" rel="external nofollow">
            Adaboost 算法的原理与推导 - IT大道
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-7129">
          <article class="comment-body" id="div-comment-7129">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/cbee05fbca656e2c706777b678cdd25d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              相逢一笑
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2011/12/stories-about-statistical-learning/#comment-7129">
              <time datetime="2016-04-02T14:56:29+00:00">
               2016/04/02 14:56
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             膜拜
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给相逢一笑" class="comment-reply-link" href="http://cos.name/2011/12/stories-about-statistical-learning/?replytocom=7129#respond" onclick='return addComment.moveForm( "div-comment-7129", "7129", "respond", "4532" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2011/12/stories-about-statistical-learning/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>